台湾专利TW201320748A 動態圖像攝影裝置、資訊處理系統、資訊處理裝置及圖像資料處理方法

专利PDF首页>>台湾专利

专利附录

专利说明

权利要求

类似技术

同族专利

引用文献

法律状态

优先权

专利摘要:
本發明之攝像裝置具備立體攝影機，且生成階段性將左右之圖框圖像縮小而成之複數種尺寸之解馬賽克後圖像。進而，藉由將各圖像之橫一行之像素行以特定規則循環地連接成為串流，而生成將連接一輪時之像素行作為橫一行份之像素行之包含複數個解馬賽克後圖像的虛擬合成圖像222。主機終端將以將縱向範圍共同地指定合成圖像內之複數個區域之資料要求信號發送至攝像裝置。攝像裝置切出指定之區域，將僅包含切出之區域之新合成圖像240之串流發送至主機終端。主機終端將其切分成個別圖像，並於主記憶體42之連續位址中展開。
公开号:TW201320748A
申请号:TW101126855
申请日:2012-07-25
公开日:2013-05-16
发明作者:大場章男；勢川博之；齋藤英幸
申请人:新力電腦娛樂股份有限公司；
IPC主号:H04N13-00

专利说明:
動態圖像攝影裝置、資訊處理系統、資訊處理裝置及圖像資料處理方法
本發明係關於一種根據對象物之動作而進行資訊處理之技術。
先前，已知有以視訊攝影機攝影使用者之頭部等身體之一部分，抽出眼、口、手等特定區域，以其他圖像置換該區域並顯示於顯示器上之遊戲(例如專利文獻1)。又，亦已知有將由視訊攝影機所攝影之口或手之動作作為應用程式之操作指示予以受理之使用者介面系統。 [先前技術文獻] [專利文獻]
[專利文獻1]歐洲專利申請公開第0999518號說明書
如上述般之技術中，為抽出使用者之口或手等特定區域，必需高解像度之圖像。然而，越使視訊攝影機之攝像元件高性能化，則圖像之資料量越大。其結果，有如下問題：以適當之尺度提供傳送用之壓縮、擴展處理或識別、檢測、計測處理等所需之資訊之過濾或縮放、裁切等資料採擷處理成本增加，且自攝影機輸入至各處理輸出為止之延遲時間(latency)增加。又，於將攝影機用作使用者介面之情形時，有延遲時間增加招致使用便利性顯著下降之問題。如此，即使提高視訊攝影機之攝像元件之性能，亦有作為系統整體之性能惡化之虞。
本發明係鑒於上述課題而完成者，其目的在於提供一種可一面使用高性能之攝像元件，一面抑制自攝像至利用其資料之圖像顯示為止之延遲時間的圖像處理技術。
本發明之一態樣係關於一種動態圖像攝影裝置。該動態圖像攝影裝置之特徵在於包含：圖像資料生成部，其自攝影對象物所得之動態圖像之各圖框圖像生成複數個圖像資料，並作為串流針對每橫一行之像素依次輸出；圖像合成部，其藉由將自圖像資料生成部輸出之複數個圖像資料針對圖像之每橫一行份之像素行或範圍小於其之像素行循環地連接，並作為串流輸出，而生成將連接一輪時之像素行作為橫一行份之像素行之包含複數個圖像的虛擬合成圖像；及圖像送出部，其自所連接之主機終端受理指定虛擬合成圖像中之將縱向範圍設為相同之複數個矩形區域之資料的發送要求，針對圖像合成部所輸出之虛擬合成圖像之每像素行切出指定之區域並連接，並作為新串流而發送至主機終端。
本發明之另一態樣係關於一種資訊處理系統。該資訊處理系統之特徵在於包含：動態圖像攝影裝置，其攝影對象物並生成動態圖像之資料；及主機終端，其自該動態圖像攝影裝置取得動態圖像之資料之一部分，並利用其進行特定圖像處理後顯示圖像；動態圖像攝影裝置包含：圖像資料生成部，其自動態圖像之各圖框圖像生成複數個圖像資料，並作為串流針對每橫一行之像素依次輸出；圖像合成部，其藉由將自圖像資料生成部輸出之複數個圖像資料針對圖像之每橫一行份之像素行或範圍小於其之像素行循環地連接，並作為串流輸出，而生成將連接一輪時之像素行作為橫一行份之像素行之包含複數個圖像的虛擬合成圖像；及圖像送出部，其自所連接之主機終端受理指定虛擬合成圖像中之將縱向範圍設為相同之複數個矩形區域之資料的發送要求，針對圖像合成部所輸出之虛擬合成圖像之每像素行切出指定區域並連接，並作為新串流而發送至主機終端；主機終端包含：資料要求部，其將縱向範圍設為相同而指定與動態圖像攝影裝置中生成之複數個圖像資料中之至少2個圖像資料對應之虛擬合成圖像中之矩形區域，並要求資料之發送；資料展開部，其基於指定之各矩形區域之橫向長度，將自動態圖像攝影裝置發送之串流分成個別之圖像資料，並作為二維圖像於記憶體中展開。
本發明之又一態樣係關於一種資訊處理裝置。該資訊處理裝置之特徵在於包含：資料要求部，其對於生成將攝影對象物所得之動態圖像之各圖框圖像而生成之複數個圖像分別配置於特定矩形區域而成之合成圖像的動態圖像攝影裝置，將縱向範圍設為相同而指定與至少2個圖像資料對應之合成圖像中之矩形區域並要求資料之發送；資料展開部，其基於指定之各矩形區域之橫向長度，將根據要求而自動態圖像攝影裝置發送之指定之複數個矩形區域之像素值針對每像素行循環地連接而成之串流狀態之圖像資料分成個別之圖像資料，並作為二維圖像於記憶體中展開；及資料處理部，其利用二維圖像進行特定圖像處理後顯示圖像。
本發明之進而另一態樣係關於一種圖像資料處理方法。該圖像資料處理方法之特徵在於：其係動態圖像攝影裝置所進行之圖像資料處理方法，其包括以下步驟：自攝影對象物所得之動態圖像之各圖框圖像生成複數個圖像資料，並作為串流針對每橫一行之像素依次輸出；藉由將輸出之複數個圖像資料針對圖像之每橫一行份之像素行或範圍小於其之像素行循環地連接，並作為串流輸出，而生成將連接一輪時之像素行作為橫一行份之像素行之包含複數個圖像的虛擬合成圖像；及自所連接之主機終端受理指定虛擬合成圖像中之將縱向範圍設為相同之複數個矩形區域之資料的發送要求，針對虛擬合成圖像之每像素行切出指定區域並連接，並作為新串流而發送至上述主機終端。
再者，將以上構成要素之任意組合及本發明之表現於方法、裝置、系統、電腦程式、記錄有電腦程式之記錄媒體等之間交換而成者亦作為本發明之態樣為有效。
根據本發明，可抑制自攝像至利用其資料之圖像顯示為止之延遲時間。
圖1表示可應用本實施形態之資訊處理系統之構成例。資訊處理系統10包含：攝像裝置12，其搭載有攝影使用者1等對象物之2個攝影機；主機終端20，其基於攝影之圖像而進行與使用者之要求相應之資訊處理；及顯示裝置16，其輸出主機終端20處理所得之圖像資料。又，主機終端20設為可與網際網路等網路18連接。
主機終端20、攝像裝置12、顯示裝置16、網路18可由有線電纜連接，亦可藉由無線LAN(Local Area Network，區域網路)等進行無線連接。亦可組合攝像裝置12、主機終端20、顯示裝置16中之任意2個或全部而一體地裝備。又，攝像裝置12亦可不必設置於顯示裝置16之上。進而，使用者1亦可非人物，且其數量亦並未限定。
攝像裝置12具有以既知之間隔左右配置分別包含CCD(Charge Coupled Device，電荷耦合元件)或CMOS(Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體)等攝像元件之第1攝影機22a、第2攝影機22b之2個數位視訊攝影機的構成。2個數位視訊攝影機分別自左右之位置以相同或不同之圖框率攝影存在於同一空間內之對象物。攝像裝置12進而利用攝影所得之圖像生成複數種圖像資料。
攝像裝置12所攝影及生成之圖像資料以如後述般之串流形式發送至主機終端20。主機終端20利用發送之圖像資料進行所需之資訊處理，並生成輸出圖像。此處，主機終端20所進行之處理之內容並無未特別限定，而係根據使用者所要求之功能或應用程式之內容等進行適當設定。
例如，於進行反映作為對象物之使用者1之動作的人物出場之遊戲或將使用者1之動作轉換為指令輸入之資訊處理等之情形時，主機終端20基於自攝像裝置12取得之同一時刻之左右之圖像資料，進行立體匹配。並且，藉由以特定比率特定相對於攝影機之視野之縱、橫、深之三維空間內之對象物之位置座標，而取得位置座標之時間變化，基於其結果對攝影之圖像實施特定處理，或反映於預先準備之圖像上而生成輸出圖像。
於視訊通話應用程式之情形時，將使用者1之圖像經由網路18即時發送至通話對方。此時，主機終端20可進行臉部檢測處理，且進行僅以高解像度顯示其結果所得之使用者1之臉部區域等加工。主機終端20除進行上述圖像處理以外亦可合成用於執行各種應用程式之選單或游標等物件圖像。
顯示裝置16根據需要將主機終端20所進行之處理之結果作為圖像予以顯示。顯示裝置16可為具有輸出圖像之顯示器及輸出聲音之揚聲器之電視，例如為液晶電視、電漿電視、PC(Personal Computer，個人電腦)顯示器等。
如上所述，資訊處理系統10中利用攝像裝置12所攝影之動態圖像進行之處理可考慮到多種，其內容並未特別限定。本實施形態中，於進行任一處理之情形時，攝像裝置12均不僅進行動態圖像之攝影，且利用其生成複數種圖像資料。並且，藉由僅有效率地發送主機終端20所指定之圖像資料，可實現自攝影至圖像顯示為止之延遲時間較少且亦可進行高度處理之資訊處理系統。攝像裝置12所生成之圖像之種類可根據應用程式等適當決定，但之後對生成以複數種解像度表示動態圖像之各圖框之圖像資料之情形進行說明。
圖2表示主機終端20與攝像裝置12之構成。圖2及其後說明之圖3、圖4所示之各功能區塊於硬體方面可藉由CUP(Central Processing Unit，中央處理單元)、RAM(Random Access Memory：隨機存取記憶體)、ROM(Read Only Memory：唯讀記憶體)、繪圖電路等構成予以實現；而於軟體方面，藉由發揮資料輸入功能、資料保持功能、圖像分析功能、繪圖功能等諸功能之程式予以實現。因此，對本領域之技術人員而言，應理解為可藉由僅硬體、僅軟體、或該等之組合以各種形式實現該等功能區塊，而並不限定於任一種。
主機終端20包含：指示輸入部36，其取得來自使用者之指示輸入；資訊處理部38，其總括地控制主機終端20及攝像裝置12以進行與目的相應之資訊處理；圖像處理部40，其生成輸出圖像；主記憶體42，其儲存來自攝像裝置12之圖像資料；及通信部44，其係進行對於攝像裝置12之圖像資料之要求及取得之介面。
指示輸入部36受理來自使用者之指示輸入，生成與其相應之處理要求信號並發送至資訊處理部38。指示輸入部36係藉由按鈕、鍵盤、滑鼠、軌跡球、觸控面板等一般之輸入裝置、與解析由該輸入裝置所完成之操作內容並生成處理要求信號之處理器等之協動而實現。
資訊處理部38根據自指示輸入部36取得之處理要求信號進行向攝像裝置12之圖像資料之要求及向圖像處理部40之圖像處理之要求等。又，如後述般，於主記憶體42中展開自攝像裝置12發送之圖像資料。進而，根據資訊處理系統10所執行之處理內容，利用自攝像裝置12發送之圖像資料進行立體匹配、對象物之追蹤、臉部檢測、手勢檢測等圖像分析。
圖像處理部40利用主記憶體42中所展開之圖像，進行與來自資訊處理部38之要求相應之圖像處理，生成顯示圖像。生成之顯示圖像儲存於未圖示之圖框記憶體中，於資訊處理部38之控制下，依次顯示於顯示裝置16。通信部44取得資訊處理部38所生成之向攝像裝置12之圖像資料之要求信號，並發送至攝像裝置12。又，據此取得自攝像裝置12發送之圖像資料並發送至資訊處理部38。
攝像裝置12包含：第1攝影機22a及第2攝影機22b，其攝影動態圖像後生成複數種圖像資料；圖像合成部30，其統合複數種圖像資料；圖像送出部32，其抽出主機終端20所要求之圖像資料並封包化；及通信部34，其係進行來自主機終端20之圖像資料之要求信號之接收及圖像資料發送之介面。
第1攝影機22a及第2攝影機22b自左右視點動態圖像攝影同一對象物。並且，藉由階段性縮小攝影之圖框圖像，而生成解像度不同之複數個圖像資料。圖像合成部30統合第1攝影機22a及第2攝影機22b所生成之圖像資料，生成如後述般之虛擬合成圖像。
圖像送出部32自第1攝影機22a及第2攝影機22b所攝影之RAW圖像及圖像合成部30所生成之虛擬合成圖像，抽出主機終端20所要求之圖像資料並封包化。此時，於要求包含於虛擬合成圖像中之圖像資料之情形時，藉由裁切處理進行圖像之切出。
通信部34受理來自主機終端20之圖像資料之要求信號並通知圖像送出部32，並且取得圖像送出部32所生成之圖像資料之封包並發送至主機終端20。通信部34根據例如USB(Universal Serial Bus，通用串列匯流排)1.0/2.0/3.0等特定協定，將封包發送至主機終端20。與主機終端20之通信並不限定於有線，例如亦可為IEEE(Institute of Electrical and Electronic Engineers，電機電子工程師學會)802.11a/b/g等無線LAN通信、IrDA(Infrared Data Association，紅外線資料協會)等紅外線通信等無線通信。
本實施形態中，攝像裝置12所進行之處理基本以圖像之橫一行份之像素為單位而進行，並以該單位供給至下一功能區塊。藉此，攝像裝置12之各功能區塊所具備之記憶體為最小限度之行緩衝器即可，又，可低延遲地進行自攝影至向主機終端20之圖像資料之發送。
圖3詳細表示有攝像裝置12之第1攝影機22a之構成。再者，第2攝影機22b亦具有相同之構成。第1攝影機22a包含圖像取得部102a、解馬賽克部104a、錐形濾波器部135a。圖像取得部102a以特定圖框率讀出由CCD或CMOS等攝像元件曝光之圖像。以下之說明中，設該圖像為於橫向具有W個像素之寬度、於縱向具有H個像素之寬度者。該圖像即所謂RAW圖像。圖像取得部102a於每RAW圖像之橫一行份之曝光結束時，便將其發送至解馬賽克部104a及圖像送出部32。
解馬賽克部104a包含具有W個像素之容量之FIFO(First In First Out，先進先出)緩衝器105與簡易解馬賽克處理部106。對FIFO緩衝器105輸入RAW圖像之橫一行份之像素資訊並保持其直至下一橫一行份之像素被輸入解馬賽克部104a為止。簡易解馬賽克處理部106於受理橫2行份之像素時，使用其等執行對於各像素基於其周邊像素內插色彩資訊而製作全彩圖像之解馬賽克(de-mosaic)處理。
如本領域之技術人員所周知般，該解馬賽克處理有各種方法，此處，藉由僅利用橫2行份之像素之簡易解馬賽克處理即已足夠。作為一例，於應算出對應之YCbCr值之像素僅具有G值之情形時，R值係將左右鄰接之R值平均，G值則直接使用該G值，B值係使用位於上或下之B值，以此作為RGB值，將其代入特定之轉換式，而算出YCbCr值等。因上述解馬賽克處理為周知，故多餘之詳細說明予以省略。再者，解馬賽克部104a及後續之處理所生成之圖像資料之色彩空間並不限定於YCbCr。
利用簡易之解馬賽克處理便已足夠之理由在於，在需要高品質之圖像之情形時可使用RAW圖像。作為簡易解馬賽克處理之變形例，亦可採用由RGB之4像素構成一像素之YCbCr值之方法。於該情形時，因獲得RAW圖像之1/4尺寸之解馬賽克後圖像，故無需後述之第1濾波器110a。
簡易之解馬賽克處理部106例如圖示般，將橫2×縱2之RGB之4像素轉換為YCbCr色彩信號。並且，包含該4像素之區塊作為1/1解馬賽克後圖像傳輸至圖像合成部30，並發送至錐形濾波器部135a。
錐形濾波器部135a具有將某一圖像階層化為複數種解像度並予以輸出之功能。錐形濾波器雖通常具備與所需之解像度之等級相應之數量之1/4縮小濾波器，但該圖中其具有第1濾波器110a~第3濾波器130a之3階層之濾波器。各濾波器雙線性內插相互鄰接之4個像素，並執行對4像素之平均像素值進行運算之處理。因此，處理後之圖像尺寸成為處理前之圖像之1/4。再者，本實施形態即使為3階層以外之濾波器數量亦可同樣予以實現，此點對於本領域之技術人員而言應容易理解。
於第1濾波器110a之前段，與Y、Cb、Cr之各信號對應地逐一配置W個像素份之FIFO緩衝器112。該等FIFO緩衝器112具有保持橫一行份之YCbCr像素直至自簡易解馬賽克處理部106輸出下一橫一行份之像素為止之功能。像素之保持時間係根據攝像元件之行掃描速度而決定。第1濾波器110a於被輸入橫2行份之像素時，將橫2×縱2之4像素份之Y、Cb、Cr之像素值平均。藉由重複該處理，1/1解馬賽克後圖像之成為縱橫各1/2之長度，而整體轉換為1/4之尺寸。轉換後之1/4解馬賽克後圖像被發送至圖像合成部30，並傳輸至後段之第2濾波器120a。
於第2濾波器120a之前階段，與Y、Cb、Cr之各信號對應地逐一配置W/2個像素份之FIFO緩衝器122。該等FIFO緩衝器122亦具有保持橫一行份之YCbCr像素直至自第1濾波器110a輸出下一橫一行份之像素為止之功能。第2濾波器120a於被輸入橫2行份之像素時，將橫2×縱2之4像素份之Y、Cb、Cr之像素值平均。藉由重複該處理，1/4解馬賽克後圖像之縱橫分別成為1/2之長度，作為整體轉換為1/16之尺寸。轉換後之1/16解馬賽克後圖像被發送至圖像合成部30，並傳輸至後段之第3濾波器130a。
關於第3濾波器130a，除於前段配置有W/4個程度之FIFO緩衝器132以外，亦重複與上述相同之處理。並且，將1/64尺寸之解馬賽克後圖像輸出至圖像合成部30。再者，因如上述般之錐形濾波器係如專利文獻1亦揭示般為周知，故本說明書中省略多餘之詳細說明。
如上所述，自錐形濾波器部135a之各濾波器對圖像合成部30輸入每次縮小1/4之圖像輸出。由此可知，越通過錐形濾波器部135a內之濾波器，則各濾波器之前段所需之FIFO緩衝器之大小越小。再者，濾波器之數量並不限定於3個，可根據所需之解像度之寬度適當決定。
再者，因攝像裝置12之第2攝影機22b亦具有與第1攝影機22a相同之構造，故省略圖示，但其後之說明中，對於第2攝影機22b之圖像取得部、解馬賽克部、錐形濾波器部、第1濾波器、第2濾波器、第3濾波器分別附上符號成為圖像取得部102b、解馬賽克部104b、錐形濾波器部135b、第1濾波器110b、第2濾波器120b、第3濾波器130b而加以記載。
圖4詳細表示有圖像合成部30及圖像送出部32之構成。圖像合成部30包含：輸出時序調整部140，其調整自第1攝影機22a及第2攝影機22b發送之各尺寸之圖像資料之向圖像送出部32之輸出時序；及用於輸出時序調整之FIFO緩衝器172a、174a、176a、170b、172b、174b、176b。再者，圖3中係單獨表示Y、Cb、Cr之資料，且對於其等分別標示有用於資料輸入輸出之箭頭，但之後為使圖不繁雜，而以1組表示該等要素。
FIFO緩衝器172a、174a、176a分別保持自第1攝影機22a之第1濾波器110a、第2濾波器120a、第3濾波器130a發送之1/4、1/16、1/64解馬賽克後圖像之橫一行份之YCbCr像素值。因此，FIFO緩衝器172a、174a、176a分別為保持W/2、W/4、W/8個像素值之緩衝器。
FIFO緩衝器170b、172b、174b、176b分別保持自第2攝影機22b之解馬賽克部104b、第1濾波器110b、第2濾波器120b、第3濾波器130b發送之1/1、1/4、1/16、1/64解馬賽克後圖像之橫一行份之YCbCr像素值。因此，170b、172b、174b、176b分別為保持W、W/2、W/4、W/8個像素值之緩衝器。
輸出時序調整部140將自第1攝影機22a之解馬賽克部104a發送之1/1解馬賽克後圖像之橫一行份之像素值輸出至圖像送出部32後，輸出儲存於FIFO緩衝器170b中之第2攝影機22b之1/1解馬賽克後圖像之橫一行份之像素值。其後，藉由以如後述般之規則輸出各圖像之橫一行份之像素行或範圍小於一行份之像素行，而對於Y、Cb、Cr之像素值各者，以生成1/1、1/4、1/16、1/64解馬賽克後圖像之像素行循環連接而成之新像素行之方式調整輸出時序。
如上所述，本實施形態中，攝像裝置12所進行之處理係按照以圖像之左上為起點，向圖像之下方重複自左至右之處理之光柵順序予以執行，並以橫一行之像素為基本處理單位。並且，自各攝影機至圖像送出部32之圖像資料之輸入輸出、及向主機終端20之圖像資料之發送基本上係設為將圖像之橫一行之像素值自上依序相連而成之串流形式。
圖像合成部30所輸出之資料亦為分別以4種解像度表示左右之圖框圖像之解馬賽克後圖像的像素行混合存在之一連串像素值之串流。因此，嚴謹而言，將8個解馬賽克後圖像相連之結果並非作為二維平面圖像而生成者。然而，如之後詳述般，對於圖像合成部30所輸出之串流，若將各解馬賽克後圖像之連接一輪時之圖像行之像素數定義為圖像之橫一行份之像素數，則其後之處理與針對未經由圖像合成部30之RAW圖像者相同。結果，圖像合成部30實質上係生成將1/1、1/4、1/16、1/64解馬賽克後圖像合成之圖像。其後，將該虛擬圖像稱作「合成圖像」。
圖像送出部32包含控制部142、資料選擇部144、及封包化部146。控制部142基於來自主機終端20之要求信號，對資料選擇部144指示將各種圖像資料中之哪一個作為封包送出。控制部142進而自主機終端20接收要求開始或結束攝影之信號、及指定攝影條件之信號等，對第1攝影機22a及第2攝影機22b之圖像取得部102a、102b等適當提供該資訊，此處因可應用一般性技術，故省略詳細之說明。
資料選擇部144將自第1攝影機22a之圖像取得部102a、第2攝影機22b之圖像取得部102b輸入之左右之RAW圖像之像素行、及自圖像合成部30輸入之合成圖像之像素行之資料作為輸入資料，選擇、抽出自控制部142指示之資料，並發送至封包化部146。
資料選擇部144包含串流選擇部148與裁切部150。串流選擇部148自左右之RAW圖像及合成圖像之串流中選擇要求之串流。於主機終端20要求解馬賽克後圖像之任一個之情形時，裁切部150自串流選擇部148取得合成圖像之串流，自包含於該串流中之解馬賽克後圖像之像素行中切出要求之像素行。
於要求複數個解馬賽克後圖像之情形時，裁切部150同時進行與該複數個圖像對應之像素行之切出。並且，藉由將切出之像素行之資料相連，而重組串流並發送至封包化部146。於主機終端20要求RAW圖像之情形時，串流選擇部148將RAW圖像之串流直接發送至封包化部146。
封包化部146將自資料選擇部144輸入之串流每於與通信部34之協定相應之尺寸封包化，並寫入內部之封包緩衝器(未圖示)中。例如於USB之情形時，將串流每於端點之尺寸封包化。通信部108根據特定之通信協定，將該封包緩衝器內之封包傳送至主機終端20。
圖5示意性表示有攝像裝置12及主機終端20之資料形態之基本變遷。此處，作為一例，考慮自攝像裝置12將於橫向具有W個像素之寬度、於縱向具有H個像素之寬度之圖框圖像200整體之資料發送至主機終端20之情形。如上述般本實施形態中，依照像素之光柵順序進行圖像資料之生成、選擇及發送，且將橫一行份之像素行依次相連，以串流之形式予以處理。
於此種狀況下，資料選擇部144所輸出之資料為串流202。該圖中，串流202之橫軸表示經過時間，構成串流202之各矩形L1、L2、...、LH分別表示圖框圖像200之第1行、第2行、...、第H行之像素資料。若設1像素之資料尺寸為d位元組，則各矩形之資料尺寸為W×d位元組。
封包化部146將串流202每於特定尺寸封包化，而生成封包P1、P2、P3、P4、P5、...。藉此，自攝像裝置12向主機終端20以封包P1、P2、P3、P4、P5、...之順序發送。主機終端20若經由通信部44接收封包P1、P2、P3、P4、P5、...，則於資訊處理部38之控制下將各資料儲存於主記憶體42中。
此時，以使原本之圖框圖像200之橫向之像素數W為橫寬之方式於主記憶體42中以光柵順序排列各封包之資料，並於W×d×H位元組之連續之位址展開資料，藉此生成復原圖框圖像200而成之圖像204。該圖中，構成圖像204之矩形表示各封包之資料。圖像處理部40於資訊處理部38之控制下，對主記憶體42中所展開之圖像204予以加工，或與其他圖像進行合成，而描繪應顯示於顯示裝置16上之圖像。
其次，對圖像合成部30合成解像度不同之解馬賽克後圖像之方法進行說明。再者，圖6、7中對1/1、1/4、1/16之3種解馬賽克後圖像予以表示，但即使附加1/64以下之解馬賽克後圖像，其原理仍相同。圖6係表示1/1解馬賽克後圖像、1/4解馬賽克後圖像、1/16解馬賽克後圖像之像素值自錐形濾波器部135a之各濾波器輸入之時序的時序圖。該圖中，時階S1、S2、S3、S4、...分別表示輸入1/1解馬賽克後圖像之第1行、第2行、第3行、第4行、...之像素值之期間。
如上述之1/1解馬賽克後圖像般於合成圖像所包含之圖像中解像度最高之圖像於錐形濾波器部135a中之資料生成速率為最高。因此，以輸入該圖像之橫一行份之像素值之期間為基準時階，使該時階與合成圖像之橫一行份之像素行對應。即，以輸入解像度最高之圖像之橫一行份之像素值之期間為基準週期，生成合成圖像之橫一行份之資料。
圖之上段、中段、下段分別表示有1/1解馬賽克後圖像、1/4解馬賽克後圖像、1/16解馬賽克後圖像之輸入時序，1個矩形與1像素份之輸入對應。首先，時階S1中，自左邊之像素依序輸入1/1解馬賽克後圖像之第1行之像素行L_(1/1)1之像素值。該時階中，1/4解馬賽克後圖像、1/16解馬賽克後圖像尚未生成，故未輸入。
其次，時階S2中，自左邊之像素依序輸入1/1解馬賽克後圖像之第2行之像素行L_(1/1)2之像素值。此時，因錐形濾波器部135a利用1/1解馬賽克後圖像之第1行之像素行L_(1/1)1及第2行之像素行L_(1/1)2之像素值，生成有1/4解馬賽克後圖像之第1行之像素行L_(1/4)1，故時階S2中亦輸入該像素行之像素值。
例如，於1/4解馬賽克後圖像之第1行之像素行L_(1/4)1之左端之期間210輸入之像素值係利用1/1解馬賽克後圖像之第1行之像素行L_(1/1)1中於期間206輸入之2個像素之像素值、及第2行之像素行L_(1/1)2中於期間208輸入之2個像素之像素值而生成。因此，時階S2中，像素行L_(1/4)1之像素值之輸入時序較像素行L_(1/1)2之對應像素之像素值之輸入時序延遲至少2像素。
下一時階S3中，輸入1/1解馬賽克後圖像之第3行之像素行L_(1/1)3之像素值。該時階中，因並未生成1/4解馬賽克後圖像之第2行之像素值，且並未生成1/16解馬賽克後圖像，故未輸入其任一種。於下一時階S4即輸入1/1解馬賽克後圖像之第4行之像素行L_(1/1)4之像素值之期間，與時階S2同樣地，亦輸入1/4解馬賽克後圖像之第2行之像素行L_(1/4)2之像素值。
進而，因錐形濾波器部135a利用1/4解馬賽克後圖像之第1行之像素行L_(1/4)1及第2行之像素行L_(1/4)2之像素值，生成1/16解馬賽克後圖像之第1行之像素行L_(1/16)1，故時階S4中亦輸入該像素行之像素值。例如，1/16解馬賽克後圖像之第1行之像素行L_(1/16)1中於最初之輸入期間218輸入之像素值係利用1/4解馬賽克後圖像之第1行之像素行L_(1/4)1中於期間210及期間212輸入之2個像素之像素值、及第2行之像素行L_(1/4)2中於期間214及期間216輸入之2個像素之像素值而生成。
因此，時階S4中，像素行L_(1/16)1之輸入時序較像素行L_(1/4)2之對應像素之像素值之輸入時序延遲至少2像素。其後，同樣地藉由重複各圖像之像素值輸入，而將1/1解馬賽克後圖像、1/4解馬賽克後圖像、1/16解馬賽克後圖像之所有像素值輸入圖像合成部30。
如上所述，各圖像之像素值係自第1攝影機22a之錐形濾波器部135a及第2攝影機22b之錐形濾波器部135b之對應之濾波器，作為單獨之串流以光柵順序輸入。圖像合成部30將該等相連使其成為1個串流而向圖像送出部32輸出。最簡單而言，考慮不論原圖像如何，均能夠以輸入之時間順序將像素值之資料相連。於該情形時，合成處理自身較容易進行，但其後之處理中，必需針對各圖像逐行分類、抽出資料，從而處理變得繁雜。
又，亦考慮於各時階中，針對各圖像匯總像素值而生成像素行並將該等串列連接。於該情形時，時階S1及S3中，輸入之像素值僅為1/1解馬賽克後圖像之資料，與此相對，例如時階S4中成為1/1解馬賽克後圖像、1/4解馬賽克後圖像、1/16解馬賽克後圖像之3個圖像之資料等，根據時階而所輸出之資料長度大幅變化。因此，本實施形態中，對於有未輸入資料之時階之圖像，利用該時階輸出之前剛輸入之像素值之一部分，而使各時階中輸出之資料長度大致均等化。
圖7示意性表示有圖像合成部30將複數個圖像之像素行之資料相連之情形。再者，該圖中，為易於理解，表示有僅將圖6所示之3種解馬賽克後圖像相連之情況，但實際上如後述般係將來自左右之攝影機之圖像資料交替相連。圖中，S1、S2、S3、...為與圖6相同之時階，於各期間輸入1/1解馬賽克後圖像之一行份之像素值。
該圖中，以每像素不同之網點矩形表示於各時階輸出之像素行。如參照圖6所說明般，時階S1中，因僅輸入1/1解馬賽克後圖像之第1行之像素行L_(1/1)1之像素值，故圖像合成部30將其直接輸出。若設原RAW圖像之橫向之像素數為W，則1/1解馬賽克後圖像之一行份之像素數亦如該圖所示般為W。
下一時階S2中，以如圖6所示般之時序並列輸入1/1解馬賽克後圖像之第2行之像素行L_(1/1)2之像素值、及1/4解馬賽克後圖像之第1行之像素行L_(1/4)1之像素值。圖像合成部30將其中之1/4解馬賽克後圖像之第1行之像素行L_(1/4)1之像素值暫時保存於FIFO緩衝器172a中，並將1/1解馬賽克後圖像之第2行之像素行L_(1/1)2之像素值連續地優先輸出。
若已全部輸出1/1解馬賽克後圖像之第2行之像素行L_(1/1)2之像素值，則繼而自FIFO緩衝器172a讀出1/4解馬賽克後圖像之第1行之像素行L_(1/4)1並予以輸出。此時，考慮於下一時階S3輸出之部分，僅輸出1/4解馬賽克後圖像之第1行之像素行L_(1/4)1之所有像素中前半部分(圖像平面中之左半部分)之像素值，其餘仍繼續保存於FIFO緩衝器172a中。
下一時階S3中，僅輸入1/1解馬賽克後圖像之第3行之像素行L_(1/1)3之像素值。圖像合成部30直接輸出該像素行之像素值，繼而自FIFO之緩衝器172a讀出1/4解馬賽克後圖像之第1行之像素行L_(1/4)1中未輸出之後半部分(圖像平面中之右半部分)之像素值並予以輸出。
下一時階S4中，以如圖6所示般之時序並列輸入1/1解馬賽克後圖像之第4行之像素行L_(1/1)4之像素值、及1/4解馬賽克後圖像之第2行之像素行L_(1/4)2、1/16解馬賽克後圖像之第1行之像素行L_(1/16)1之像素值。圖像合成部30將其中之1/4解馬賽克後圖像之第2行之像素行L_(1/4)2及1/16解馬賽克後圖像之第1行之像素行L_(1/16)1之像素值分別暫時保存於FIFO緩衝器172a、174a中，並將1/1解馬賽克後圖像之第4行之像素行L_(1/1)4之像素值連續地優先輸出。
若已全部輸出1/1解馬賽克後圖像之第4行之像素行L_(1/1)4之像素值，則繼而自FIFO緩衝器172a讀出1/4解馬賽克後圖像之第2行之像素行L_(1/4)2之前半部分並予以輸出。其次，輸出1/16解馬賽克後圖像之第1行之像素行L_(1/16)1。此時，考慮於其後之3個時階S5、S6、S7輸出之部分，將1/16解馬賽克後圖像之第1行之像素行L_(1/16)1進行四分之一分割，僅輸出其最初部分之像素值。其餘則保存於FIFO緩衝器174a中。
下一時階S5中，僅輸入1/1解馬賽克後圖像之第5行之像素行L_(1/1)5之像素值。圖像合成部30直接輸出該像素行之像素值，繼而自FIFO緩衝器172a讀出1/4解馬賽克後圖像之第2行之像素行L_(1/4)2中未輸出之後半部分之像素值並予以輸出。進而，輸出1/16解馬賽克後圖像之第1行之像素行L_(1/16)1之未輸出之資料中四分之一分割後之第2部分之像素值。
同樣地，下一時階S6中，輸出1/1解馬賽克後圖像之第6行之像素行L_(1/1)6之像素值、1/4解馬賽克後圖像之第3行之像素行L_(1/4)3之前半部分之像素值、及1/16解馬賽克後圖像之第1行之像素行L_(1/16)1之未輸出之資料中四分之一分割後之第3部分之像素值。下一時階S7中，輸出1/1解馬賽克後圖像之第7行之像素行L_(1/1)7之像素值、1/4解馬賽克後圖像之第3行之像素行L_(1/4)3之後半部分之像素值、及1/16解馬賽克後圖像之第1行之像素行L_(1/16)1中四分之一分割後之最後部分之像素值。
即，1/4解馬賽克後圖像之第1行之像素行L_(1/4)1於時階S2及S3之2個時階中，每次輸出二分之一。又，1/16解馬賽克後圖像之第1行之像素行L_(1/16)1於時階S4、S5、S6、S7之4個時階中，每次輸出四分之一。若設RAW圖像之橫向之像素數為W，則1/4解馬賽克後圖像及1/16解馬賽克後圖像之橫一行份之像素數分別為W/2、W/4，因此如該圖所示，每時階分別輸出(W/2)/2個、(W/4)/4個像素資料。
重複以上之輸出處理直至圖像之最下段之行為止。此時，於輸出1/1解馬賽克後圖像之最下段之像素行之資料之時間點，1/4解馬賽克後圖像之最下段之像素行之後半部分之資料、及1/16解馬賽克後圖像之最下段之剩餘四分之三之像素資料尚未輸出。對此，在隨後之時階S(H+1)中，輸出將1/4解馬賽克後圖像之最下段之像素行之後半部分之資料、及將1/16解馬賽克後圖像之最下段之像素行四分之一分割後之第2部分之資料。
此時，作為至此為止輸出1/1解馬賽克後圖像之資料之W個像素之資料，首先輸出無效資料，繼而輸出1/4解馬賽克後圖像、1/16解馬賽克後圖像之資料。下兩個時階S(H+2)、S(H+3)中，作為至此為止已輸出1/1解馬賽克後圖像及1/4解馬賽克後圖像之資料之W+(W/2)/2像素之資料，首先輸出無效資料，繼而分別輸出將1/16解馬賽克後圖像之最下段之像素行四分之一分割後之第3部分及第4部分之資料。
若如此予以輸出，則如該圖所示，除最初之3個時階與最後之3個時階以外之所有時階中，均輸出W+(W/2)/2+(W/4)/4=21W/16個像素資料。又，輸出1行份之像素值時，1/1解馬賽克後圖像需1時階、1/4解馬賽克後圖像需2時階、1/16解馬賽克後圖像需4時階，因此輸出1圖框份之圖像資料所需之時階數完全相等，為H=(H/2)×2=(H/4)×4。結果，輸出3種圖像之1圖框份之資料所需之總時階數為H+3。
如上所述，圖像合成部30輸出之資料為像素值之列舉，但藉由將與各時階對應之像素之個數即21W/16作為橫一行份之像素個數而預先賦予，則在圖像送出部32中與RAW圖像同樣地將各時階中輸出之資料作為圖像之一行份之資料加以處理。
因此，可使各時階與圖像之縱向之像素對應，結果生成圖7之以整體矩形區域表示般之合成圖像220。藉由如上述般於各時階輸出之像素行中固定各圖像之資料所佔據之範圍，而於合成圖像220中，1/1解馬賽克後圖像、1/4解馬賽克後圖像、1/16解馬賽克後圖像之資料分別構成規整之矩形區域。因此，只要利用其局部性便可容易地進行各圖像之資料切出。
圖8表示有針對第1攝影機22a及第2攝影機22b輸出之各圖像資料交替重複進行參照圖7所說明之處理時所生成之合成圖像。合成圖像222包含第1攝影機22a之1/1解馬賽克後圖像224、第2攝影機22b之1/1解馬賽克後圖像226、第1攝影機22a之1/4解馬賽克後圖像228、第2攝影機22b之1/4解馬賽克後圖像230、第1攝影機22a之1/16解馬賽克後圖像232、第2攝影機22b之1/16解馬賽克後圖像234、第1攝影機22a之1/64解馬賽克後圖像236、第2攝影機22b之1/64解馬賽克後圖像238。
該圖中，1/1解馬賽克後圖像224、226中顯示有自左右攝影之使用者1之臉部。其他解馬賽克後圖像即1/4解馬賽克後圖像228與230、1/16解馬賽克後圖像232與234、1/64解馬賽克後圖像236與238分別為於將該1/1解馬賽克後圖像縮小為1/4、1/16、1/64後，將橫一行之像素行進行1/2分割、1/4分割、1/8分割並縱向排列之圖像。
因此，如各圖像之上端網點所示，合成圖像222中，1/1解馬賽克後圖像224及226之橫一行之像素區域係與1/4解馬賽克後圖像228及230之橫兩行之像素區域、1/16解馬賽克後圖像232及234之橫4行之像素區域、1/64解馬賽克後圖像236及238之橫8行之像素區域對應。再者，該圖中，為進行說明而放大表示像素一行之寬度。因此，雖放大表示無效資料之區域，但實質上根據圖7所說明之原理，無效資料之區域最大為7行份之像素，且為合成圖像222之總面積之1%以下。
圖像送出部32之裁切部150自合成圖像222僅切出主機終端20所要求之圖像資料。裁切部150所進行之處理與切出圖像內之指定矩形區域並除去剩餘區域之一般裁切處理相同。本實施形態中，處理對象不為圖像平面而為像素行單位，若預先供給合成圖像之橫一行份之像素數之資訊，則易於將圖像平面之二維座標與串流之一維座標建立對應，所要切取之像素之特定可同樣地進行。
本實施形態中，因將左右各自之1/1解馬賽克後圖像、1/4解馬賽克後圖像、1/16解馬賽克後圖像、1/64解馬賽克後圖像之資料歸入如圖8所示般之合成圖像上之矩形區域內，故可容易地利用該裁切處理進行圖像之切分。
圖9示意性表示有與來自主機終端20之要求相應之圖像資料流。首先，主機終端20將指定合成圖像內之區域之資料要求信號發送至攝像裝置12。此處，例如指定合成圖像222內之縱向之像素範圍與橫向之像素範圍。
圖9之例中，指定縱向(Y軸)為(最大值，最小值)=(Ys，Ye)之範圍、橫向(X軸)為(最大值，最小值)=(Xs1，Xe1)、(Xs2，Xe2)、(Xs3，Xe3)、(Xs4，Xe4)之範圍之4個區域。(Xs1，Xe1)、(Xs2，Xe2)之範圍之圖像係左右之攝影機之1/1解馬賽克後圖像之臉部周邊之區域；(Xs3，Xe3)係一攝影機之1/4解馬賽克後圖像整體；(Xs4，Xe4)係一攝影機之1/16解馬賽克後圖像整體。
裁切部150自圖像合成部30以橫一行之像素行為單位輸入之合成圖像切取指定區域。具體而言，自Ys位置之像素行僅切出(Xs1，Xe1)、(Xs2，Xe2)、(Xs3，Xe3)、(Xs4，Xe4)之範圍之像素行，並依次向封包化部146送出。其次，Ys+1像素行、Ys+2像素行、...同樣地切出相同範圍之像素行，並向封包化部146送出。封包化部146將切出之像素行相連，作為串流依次封包化。
結果，主機終端20所接收之圖像資料成為僅包含切出之區域之新合成圖像240之串流。主機終端20之資訊處理部38將其切分為個別圖像，並於主記憶體42之連續之位址中予以展開。其結果，主記憶體42中儲存有左右之1/1解馬賽克後圖像中之臉部周邊之圖像242、244、及1/4解馬賽克後圖像之整體圖像246、1/16解馬賽克後圖像之整體圖像248。或，資訊處理部38亦可於主記憶體42中原樣展開合成圖像240，以圖像處理等所使用之階段予以區別。
如此，主機終端20藉由指定合成圖像內之區域，可同時要求複數種圖像及其中之特定區域。並且，裁切部150藉由針對各像素行抽出指定範圍之像素值，而同時切出複數個圖像資料，生成僅包含所需之圖像資料之新串流。
該態樣中，主機終端20使同時指定之複數個區域之縱向之範圍共同。圖9之例中，指定之4個區域縱向之範圍均為(Ys，Ye)。藉此，即使裁切部150以合成圖像之橫向之像素行為單位分別進行像素值之抽出，所有像素行中抽出之範圍亦相同。
結果，即使將抽出之像素相連而成為串流，根據像素行不同所抽出之像素數亦不會變多或變少，新合成圖像240中成為原樣保存切出之矩形區域之圖像平面之狀態。藉此，主機終端20基於要求之各區域之橫向之像素數，可容易地將取得之串流展開為各個圖像。
其次，表示多樣化變更攝像裝置12之攝像條件時之本實施形態之應用例。圖10表示有由具備滾動快門之第1攝影機22a及第2攝影機22b分別以60 fps及15 fps之圖框率攝影時圖像合成部30所生成之合成圖像之變遷。該圖上段之粗線隨著時間經過表示各攝影機之掃描線之位置，第2攝影機22b於第1攝影機22a每進行4圖框攝影時以相同之快門速度進行1圖框攝影。再者，該圖框率為一例，只要為於第1攝影機22a每攝影2以上之特定數之圖框時第2攝影機22b進行1圖框攝影即可。
於該情形時，於僅第1攝影機22a進行攝影之第1攝影週期(時刻t0至t1)、第2攝影週期(時刻t1至t2)、第3攝影週期(時刻t2至t3)中，如該圖所示，自圖像合成部30僅依次輸出第1攝影機22a攝影之圖框之1/1解馬賽克後圖像250、1/4解馬賽克後圖像252、1/16解馬賽克後圖像254、1/64解馬賽克後圖像256。繼而，第2攝影機22b亦進行攝影之第4攝影週期(時刻t3至t4)中，輸出兩攝影機所攝影之圖框之1/1解馬賽克後圖像258、260、1/4解馬賽克後圖像262、264、1/16解馬賽克後圖像266、268、1/64解馬賽克後圖像270、272。
再者，圖像合成部30於未自第2攝影機22b之各濾波器輸入圖像資料之期間仍將各解馬賽克後圖像份之無效資料於輸出來自第2攝影機22b之資料之時序附加於串流中。藉此，如該圖所示，所有期間中合成圖像之橫一行之像素數並未變化，於同一位置配置有同一類之圖像。結果，圖像資料之種類與合成圖像上之區域得以一一對應，從而可使主機終端20之區域指定簡單化。其後之期間中亦重複如上所述之圖像資料之送出。
圖11表示有於圖10所示之攝影條件下裁切部150切出而生成之新合成圖像與儲存於主機終端20之主記憶體42中之圖像。此處，設主機終端20指定圖9所示之區域並要求圖像資料。再者，縱軸所表示之各時刻係與圖10對應地表示攝影有原本之圖框之時刻，切出處理或向主記憶體42之儲存之前之時間予以省略。
作為第1攝影週期之時刻t0至t1中，因僅將第1攝影機22a所攝影之圖框之圖像輸入裁切部150中，故逐行抽出該圖框之1/1解馬賽克後圖像中之臉部周邊之區域之圖像280、1/4解馬賽克後圖像之整體圖像284、1/16解馬賽克後圖像之整體圖像286之資料。此時，自主機終端20不論有無圖像資料仍指定第2攝影機22b所攝影之圖框之1/1解馬賽克後圖像之臉部周邊之圖像應進入之合成圖像上之區域，故裁切部150亦同樣抽出原合成圖像中為無效資料之部分282。
主機終端20若以串流形式受理如上所述之圖像資料，則將其於主記憶體42中展開。此時，若廢除無效資料之部分，則於時刻t1，主記憶體42內第1攝影機22a所攝影之圖框之1/1解馬賽克後圖像中之臉部周邊之區域之圖像288、1/4解馬賽克後圖像之整體圖像290、1/16解馬賽克後圖像之整體圖像292之儲存完成。第2攝影週期(時刻t1至t2)及第3攝影週期(時刻t2至t3)亦同樣。
繼而，作為第4攝影週期之時刻t3至t4中，依次抽出兩攝影機所攝影之圖框之1/1解馬賽克後圖像中之臉部周邊區域之圖像294、296、第1攝影機22a所攝影之圖框之1/4解馬賽克後圖像之整體圖像298、1/16解馬賽克後圖像之整體圖像300之資料，且於時刻t4，向主記憶體42之展開完成。
該態樣例如可用於以下等狀況：主機終端20中每4圖框進行1次立體匹配，以一面確認使用者1等對象物之位置，一面將僅對臉部區域利用1/1解馬賽克後圖像提高解像度後之1/4解馬賽克後圖像或1/16解馬賽克後圖像之整體圖像顯示於顯示裝置16。立體匹配之結果反饋至對於攝像裝置12之圖像資料要求時之區域指定或攝像裝置12之變焦機構或雲台(Pan/Tilt)控制機構等。藉此，即使對象物移動仍可常以最低限度之圖像資料傳送顯示僅詳細顯示其附近之整體圖像。
或，亦可變更2個攝影機之曝光時間，以將曝光時間長而充分獲得亮度之圖像用於顯示，將亮度低而圖框率高之圖像用於圖像分析之方式靈活運用2個攝影機。
圖12表示有於圖10所示之攝像條件中將第2攝影機22b之快門速度設為1/4倍，第2攝影機22b歷時第1攝影機22a進行4圖框攝影之時間而進行1圖框攝影時之合成圖像之變遷。於該情形時，自第2攝影機22b輸出之1/1解馬賽克後圖像之一行份之資料於自第1攝影機22a輸出1/1解馬賽克後圖像之4行份之資料前不發生變化。其他解像度之圖像亦同樣地，自第2攝影機22b之資料輸出係以第1攝影機22a之資料輸出之4倍週期完成。再者，該圖框率與快門速度為一例，第2攝影機22b之圖框率及快門速度亦可為第1攝影機22a之1/N(N為2以上之自然數)。
其結果，如該圖所示，第2攝影機22b所攝影之圖框之1/1解馬賽克後圖像302於經過時間與縱向之像素對應之合成圖像中成為沿縱向4倍拉伸之狀態，嚴謹而言，成為每4行像素具有相同像素值之圖像。該圖中，第1攝影週期(時刻t0至t1)中輸出使用者1之頭部部分，第2攝影週期(時刻t1至t2)中輸出眼部部分，第3攝影週期(時刻t2至t3)中輸出口部部分，第4攝影週期(時刻t3至t4)中輸出肩部部分，1/4解馬賽克後圖像、1/16解馬賽克後圖像、1/64解馬賽克後圖像亦於各攝影週期中成為將其等縮小之圖像。
圖13表示有於圖12所示之攝影條件下裁切部150切出而生成之新合成圖像與儲存於主機終端20之主記憶體42中之圖像。圖示方法與圖11相同。於該情形時，作為第1攝影週期之時刻t0至t1中，逐行抽出第1攝影機22a所攝影之圖框之1/1解馬賽克後圖像中之臉部周邊區域之圖像304、第2攝影機22b所攝影之圖框之1/1解馬賽克後圖像中之臉部周邊區域之一部分306、第1攝影機22a所攝影之圖框之1/4解馬賽克後圖像之整體圖像308、及1/16解馬賽克後圖像之整體圖像310之資料。
主機終端20係與圖11同樣地於主記憶體42中展開圖像資料，但對於自攝像裝置12發送之串流中第2攝影機22b所攝影之圖框之1/1解馬賽克後圖像之部分，廢除保持相同像素值之4行資料中之3行。其結果，於第4攝影週期結束時之時刻t4，第2攝影機22b所攝影之圖框之1/1解馬賽克後圖像中之臉部周邊區域之圖像312之展開完成。再者，圖11、13及15中之主記憶體42內之圖像於結束之時序僅表示有展開完成者，而圖13中，第2攝影機22b所攝影之圖框之1/1解馬賽克後圖像實際上自時刻t0之後逐漸儲存。主記憶體42內之其他圖像與圖11相同。
圖14表示有設第2攝影機22b之圖框率為60 fps，第1攝影機22a以較第2攝影機22b高之240 fps之圖框率攝影較第2攝影機22b小之視角時之合成圖像之變遷。該圖之例中，第1攝影機22a於第2攝影機22b攝影1圖框之期間，4次攝影使用者1之眼部部分。再者，該等值為一例，只要於第1攝影機22a之攝影範圍之縱向之長度為第2攝影機22b之1/N(N為2以上之自然數)時，設第1攝影機22a之圖框率為第2攝影機22b之N倍，便可如該圖所示，取得2個攝影機之同步。
因此，與第2攝影機22b之各攝影週期對應之合成圖像中，第1攝影機22a之圖框之1/1解馬賽克後圖像314如該圖所示，成為使用者1之眼部部分圖像於縱向4個相連之圖像。第1攝影機22a之圖框之1/4解馬賽克後圖像、1/16解馬賽克後圖像、1/64解馬賽克後圖像亦於各攝影週期中成為將其等縮小之圖像。
圖15表示有於圖14所示之攝影條件下裁切部150切出而生成之新合成圖像與儲存於主機終端20之主記憶體42中之圖像。圖示方法與圖11相同。但，該圖中係切出第1攝影機22a所攝影之高圖框率之眼部部分之1/1解馬賽克後圖像316、第2攝影機所攝影之圖框之1/1解馬賽克後圖像318、及1/4解馬賽克後圖像320。
其結果，主機終端20之主記憶體42中，與各攝影週期之結束時刻對應地完成該等圖像之展開。該態樣例如可用於以下等狀況：利用眼部部分之1/1解馬賽克後圖像，以高時間分辨能力高精度地追蹤眼部或眼瞼之動作，一面檢測表情或手勢，一面將僅對臉部區域利用1/1解馬賽克後圖像提高解像度後之1/4解馬賽克後圖像之整體圖像顯示於顯示裝置16。
此時，可根據檢測出之表情或手勢對顯示圖像進行加工。若經由網路而將該圖像顯示於另一使用者之顯示裝置，則亦可實現根據表情而於圖像上出現裝飾或動畫之視訊通話等。圖15之例中係以高圖框率攝影眼部部分，但亦可攝影使用者之手部或使用者所保持之標誌等作為追蹤對象。於該情形時，亦可將手部或標誌之動作作為資訊處理之操作輸入方法。
圖16係表示主機終端20與攝影裝置12協動以進行圖像顯示之處理順序之例的流程圖。圖16之流程圖係藉由使用者對主機終端20輸入應用程式之啟動指示而開始。又，為易於理解，各步驟係以串列連接之矩形表示，但於攝影動態圖像之期間，設為對於各像素行及各圖框並列執行該等步驟。
首先，主機終端20指定應用程式等中所設定之初始條件及所需之圖像資料，對於攝像裝置12進行攝影開始指示及資料發送要求(S10)。初始條件係攝像裝置12之2個攝影機所攝影之動態圖像之解像度、圖框率、快門速度、視角等。再者，攝影機所攝影之動態圖像之解像度或圖框率可變更攝像元件之曝光本身之條件設定，亦可藉由進行於後段減少來自攝像元件之資料等調整而變更。
所需之圖像資料如上述般係根據合成圖像之區域予以指定，但作為初始值，指定考慮到存在使用者之區域之1/1解馬賽克後圖像或任一解像度之整體圖像等。受理初始條件之指定及圖像資料要求之攝像裝置12之第1攝影機22a及第2攝影機22b以該初始條件開始動態圖像之攝影(S12)。
各攝影機所取得之RAW圖像以像素行為單位由解馬賽克部104a、104b、錐形濾波器部135a、170b進行處理，並由圖像合成部30合成各時階中所輸出之各階層之解馬賽克後圖像(S14)。繼而，圖像送出部32自合成圖像僅切出S10中所指定之圖像資料，並作為串流封包化後，發送至主機終端20(S16、S18)。再者，於要求RAW圖像之資料之情形時亦可省略S16之處理。
接收資料之主機終端20之資訊處理部38將發送之串流作為圖像而於主記憶體42中展開(S20)。資訊處理部38利用展開之圖像進行與執行中之應用程式對應之處理(S22)。此時，根據需要，對圖像處理部40要求圖像處理，圖像處理部40自主記憶體42讀出圖像並進行加工或合成。因於主記憶體42中所展開之圖像資料與一般圖像資料相同，故可作為紋理而讀出。
資訊處理部38亦可於步驟S22中進行立體匹配、追蹤、臉部檢測、手勢檢測等圖像分析處理並將其結果反映於顯示圖像。如此，生成顯示圖像並顯示於顯示裝置16(S24、S26)。資訊處理部38亦可進而於步驟S22中利用上述圖像分析特定對象物之區域等，變更要求之圖像資料。於該情形時，攝像裝置12之裁切部150於處理新圖像圖框之時序，依照指定變更要切出之區域。藉由重複自S14至S26之處理，可將利用攝像裝置12所攝影之圖像之動態圖像顯示於顯示裝置16。
根據上述之本實施形態，於包含攝影使用者等之動作之攝像裝置與利用其進行圖像顯示之主機終端之系統中，使攝影之動態圖像於攝影機之內部成為複數種解像度之資料。繼而，針對各圖像種類及解像度，成為以像素之光柵順序將像素值相連之串流。繼而，根據主機終端之要求，發送其一部分，於主機終端之記憶體中構築圖框圖像。如此，藉由於攝影機內部不作為圖框圖像展開而以像素行之狀態依次進行處理，可將攝影機中應設置之記憶體尺寸控制在最低限度。又，於自攝影至向主機終端發送為止之期間，因無需等待1圖框份之資料出齊，故作為系統整體可以低延遲進行與動作相應之圖像顯示。
又，將複數種解像度之圖像資料以一行份之像素值為單位相連並使其包含於1個串流中。此時，因根據解像度不同而生成「一行份之像素值」之速率不同，故以低速率生成資料之低解像度之圖像亦包含未生成資料之期間，從而以均等包含於串流中之方式予以分配。藉此，每單位時間應處理及發送之資料尺寸變得大致均等，至輸出所需之時間、使用之傳送頻帶、發送所需之時間之預測變得容易，並且因突發之資料尺寸之增大而壓迫傳送頻帶之可能性變低。
因如此生成之串流於後段之處理中可與僅包含1種解像度之圖像資料之串流同等地處理，故實際上生成包含複數種解像度之圖像之合成圖像。並且，藉由如上述般相連，而合成對象之圖像分別構成合成圖像中之矩形區域，因此藉由指定合成圖像內之區域，可容易地利用稱為裁切之一般圖像處理，區分混合存在於1個串流中之複數個圖像資料。
又，利用裁切同時切出合成圖像中之複數個區域，於混合存在有複數種圖像資料之狀態下作為串流發送。此時，藉由使複數個區域之縱向之範圍相同，而實際之處理即使以像素行為單位仍可於維持合成圖像之矩形區域之狀態下進行切出，因此於主機終端中可容易地進行圖像之區別。
因混合存在複數個圖像資料且可同時發送，故無需設置可並列發送之複數個通道之發送機構，而可以低延遲發送多種圖像資料，用於圖像處理。進而，基於與合成圖像相同之原理，於發送之資料之串流中，亦根據各尺寸之圖像資料之生成速率而使包含於串流中之資料尺寸均等化，因此不易產生位元率增大所引起之傳送延遲。
以上，已基於實施形態說明本發明。上述實施形態為例示，對本領域技術人員而言，應理解為該等各構成要素或各處理製程之組合可存在各種變形例，且如此之變形例亦屬於本發明之範圍。
例如，本實施形態中係使以不同解像度表示立體圖像之圖框之複數個圖像資料混合存在於串流中而生成虛擬合成圖像。於該情形時，在藉由設計資料生成速率不同之圖像於合成圖像中之配置，可使位元率均等化之方面尤其有效。另一方面，包含於合成圖像中之圖像並不限定於此，只要為於各時刻生成之複數種圖像，便可同樣地進行合成、切出、以及發送至主機終端。
例如，亦可僅為1種解像度之立體圖像對，亦可混合將對象物之深度方向位置表示於圖像平面上之深度圖像、圖框間差分圖像等。於後者之情形時，於攝像裝置中設置進行立體匹配處理或圖框間差分處理之機構。於任一情形時，均可藉由以使合成圖像中之縱向之範圍共同地指定複數個區域，而利用裁切處理同時切出複數種圖像，使其混合存在於串流中並發送至主機終端。藉此，主機終端中不設置複數個通道之發送路徑便可僅藉由區域指定而低延遲地取得複數種圖像。 [產業上之可利用性]
如上所述，本發明可利用於電腦、遊戲裝置、攝影機、圖像顯示裝置等之資訊處理裝置及資訊處理系統。
1‧‧‧使用者
10‧‧‧資訊處理系統
12‧‧‧攝像裝置
16‧‧‧顯示裝置
18‧‧‧網路
20‧‧‧主機終端
22a‧‧‧第1攝影機
22b‧‧‧第2攝影機
30‧‧‧圖像合成部
32‧‧‧圖像送出部
34‧‧‧通信部
36‧‧‧指示輸入部
38‧‧‧資訊處理部
40‧‧‧圖像處理部
42‧‧‧主記憶體
44‧‧‧通信部
102a‧‧‧圖像取得部
104a‧‧‧解馬賽克部
110a‧‧‧第1濾波器
120a‧‧‧第2濾波器
130a‧‧‧第3濾波器
135a‧‧‧錐形濾波器部
140‧‧‧輸出時序調整部
142‧‧‧控制部
144‧‧‧資料選擇部
146‧‧‧封包化部
148‧‧‧串流選擇部
150‧‧‧裁切部
圖1係表示可應用本實施形態之資訊處理系統之構成例的圖。
圖2係表示本實施形態之主機終端與攝像裝置之構成的圖。
圖3係詳細地表示本實施形態之攝像裝置之第1攝影機之構成的圖。
圖4係詳細地表示本實施形態之圖像合成部及圖像送出部之構成的圖。
圖5係示意性表示本實施形態之攝像裝置及主機終端中之資料形態之基本變遷的圖。
圖6係表示本實施形態之1/4解馬賽克後圖像、1/16解馬賽克後圖像、1/64解馬賽克後圖像之像素值之自錐形濾波器部之輸入時序的時序圖。
圖7係示意性表示本實施形態之圖像合成部將複數個圖像之像素行之資料相連之情況的圖。
圖8係表示針對第1攝影機及第2攝影機輸出之各圖像資料交替重複進行參照圖7所說明之處理時所生成之合成圖像的圖。
圖9係示意性表示本實施形態中與來自主機終端之要求相應之圖像資料流的圖。
圖10係表示本實施形態中藉由具備滾動快門之第1攝影機及第2攝影機以不同之圖框率攝影時圖像合成部所生成之合成圖像之變遷的圖。
圖11係表示於圖10所示之攝影條件下裁切部切出而生成之新合成圖像與儲存於主機終端之主記憶體中之圖像的圖。
圖12係表示於圖10所示之攝影條件中將第2攝影機之快門速度設為1/4倍，第2攝影機歷時第1攝影機進行4圖框攝影之時間而進行1圖框攝影時之合成圖像之變遷的圖。
圖13係表示於圖12所示之攝影條件下裁切部切出而生成之新合成圖像與儲存於主機終端之主記憶體中之圖像的圖。
圖14係表示本實施形態中第1攝影機以較第2攝影機高之圖框率攝影較第2攝影機小之視角時之合成圖像之變遷的圖。
圖15係表示於圖14所示之攝像條件下裁切部切出而生成之新合成圖像與儲存於主機終端之主記憶體中之圖像的圖。
圖16係表示本實施形態中主機終端與攝像裝置協動以進行圖像顯示之處理順序之例的流程圖。
1‧‧‧使用者
10‧‧‧資訊處理系統
12‧‧‧攝像裝置
16‧‧‧顯示裝置
18‧‧‧網路
20‧‧‧主機終端
22a‧‧‧第1攝影機
22b‧‧‧第2攝影機

权利要求:
Claims (13)
[1] 一種動態圖像攝影裝置，其特徵在於包含：圖像資料生成部，其自攝影對象物所得之動態圖像之各圖框圖像生成複數個圖像資料，並作為串流針對每橫一行之像素依次輸出；圖像合成部，其藉由將自上述圖像資料生成部輸出之上述複數個圖像資料針對圖像之每橫一行份之像素行或範圍小於其之像素行循環地連接，並作為串流輸出，而生成將連接一輪時之像素行作為橫一行份之像素行之包含上述複數個圖像的虛擬合成圖像；及圖像送出部，其自所連接之主機終端受理指定上述虛擬合成圖像中之將縱向範圍設為相同之複數個矩形區域之資料的發送要求，針對上述圖像合成部所輸出之上述虛擬合成圖像之每像素行切出指定之區域並連接，並作為新串流而發送至上述主機終端。
[2] 如請求項1之動態圖像攝影裝置，其中上述動態圖像攝影裝置進而包含自間隔已知距離之左右視點攝影對象物之2個攝影機；上述圖像資料生成部藉由分別以多階段縮小上述2個攝影機所攝影之左右之圖框圖像，而針對左右之圖框圖像生成解像度不同之複數個圖像資料。
[3] 如請求項2之動態圖像攝影裝置，其中上述2個攝影機中之第2攝影機於第1攝影機每攝影2以上之特定數之圖框時，以相同快門速度進行1圖框攝影；上述圖像合成部於自上述圖像資料生成部僅輸出自上述第1攝影機攝影之圖框圖像生成之圖像資料之期間，取代自上述第2攝影機攝影之圖框圖像生成之圖像資料而連接無效資料，並附加於串流中；上述圖像送出部不論有無無效資料，均切出指定之區域。
[4] 如請求項2之動態圖像攝影裝置，其中上述2個攝影機中之第2攝影機以第1攝影機之圖框率及快門速度之1/N(N為2以上之自然數)之圖框率及快門速度進行攝影；上述圖像合成部對於自上述第1攝影機所攝影之圖框圖像生成之圖像資料之橫N行之像素行各者，連接N次自上述第2攝影機所攝影之圖框圖像生成之圖像資料之橫一行之像素行。
[5] 如請求項2之動態圖像攝影裝置，其中上述2個攝影機中之第1攝影機以N倍圖框率攝影縱向長度為第2攝影機之1/N(N為2以上之自然數)之攝影範圍；上述圖像合成部對於上述第2攝影機所攝影之1圖框份之圖像資料之像素行，分別連接上述第1攝影機所攝影之N圖框份之圖像資料之像素行。
[6] 如請求項1至5中任一項之動態圖像攝影裝置，其中上述圖像資料生成部藉由將各圖框圖像於縱橫兩方向各縮小1/2，而生成解像度不同之複數個圖像資料；上述圖像合成部針對將縮小率為1/2ⁿ(n為整數)之圖像之橫一行份之像素行加以1/2ⁿ分割而成之每像素行循環地連接。
[7] 如請求項1至5中任一項之動態圖像攝影裝置，其中上述圖像資料生成部將橫一行份之像素行作為處理單位而並列生成上述複數個圖像資料後，依次向上述圖像合成部輸出；上述圖像合成部逐次連接自上述圖像資料生成部輸出之圖像資料並作為串流輸出。
[8] 如請求項7之動態圖像攝影裝置，其中上述圖像合成部係以於上述合成圖像中上述複數個圖像分別構成矩形之區域之方式連接圖像資料。
[9] 一種資訊處理系統，其特徵在於包含：動態圖像攝影裝置，其攝影對象物而生成動態圖像之資料；及主機終端，其自該動態圖像攝影裝置取得動態圖像之資料之一部分，並利用其進行特定圖像處理後顯示圖像；上述動態圖像攝影裝置包含：圖像資料生成部，其自動態圖像之各圖框圖像生成複數個圖像資料，並作為串流針對每橫一行之像素依次輸出；圖像合成部，其藉由將自上述圖像資料生成部輸出之上述複數個圖像資料針對圖像之每橫一行份之像素行或範圍小於其之像素行循環地連接，並作為串流輸出，而生成將連接一輪時之像素行作為橫一行份之像素行之包含上述複數個圖像的虛擬合成圖像；及圖像送出部，其自所連接之主機終端受理指定上述虛擬合成圖像中之將縱向範圍設為相同之複數個矩形區域之資料的發送要求，針對上述圖像合成部所輸出之上述虛擬合成圖像之每像素行切出指定之區域並連接，並作為新串流而發送至上述主機終端；上述主機終端包含：資料要求部，其將縱向範圍設為相同而指定與上述動態圖像攝影裝置中生成之複數個圖像資料中之至少2個圖像資料對應之上述虛擬合成圖像中之矩形區域，並要求資料之發送；及資料展開部，其基於指定之各矩形區域之橫向長度，將自上述動態圖像攝影裝置發送之串流分成個別之圖像資料，並作為二維圖像於記憶體中展開。
[10] 一種資訊處理裝置，其特徵在於包含：資料要求部，其對於生成將自攝影對象物所得之動態圖像之各圖框圖像而生成之複數個圖像分別配置於特定矩形區域而成之合成圖像的動態圖像攝影裝置，將縱向範圍設為相同而指定與至少2個圖像資料對應之上述合成圖像中之矩形區域，並要求資料之發送；資料展開部，其基於指定之各矩形區域之橫向長度，將根據要求而自上述動態圖像攝影裝置發送之指定之複數個矩形區域之像素值針對每像素行循環地連接而成之串流狀態之圖像資料分成個別之圖像資料，並作為二維圖像於記憶體中展開；及資料處理部，其利用上述二維圖像進行特定圖像處理後顯示圖像。
[11] 一種圖像資料處理方法，其特徵在於：其係動態圖像攝影裝置所進行之圖像資料處理方法，其包括以下步驟：自攝影對象物所得之動態圖像之各圖框圖像生成複數個圖像資料，並作為串流針對每橫一行之像素依次輸出；藉由將上述輸出之上述複數個圖像資料針對圖像之每橫一行份之像素行或範圍小於其之像素行循環地連接，並作為串流輸出，而生成將連接一輪時之像素行作為橫一行份之像素行之包含上述複數個圖像的虛擬合成圖像；及自所連接之主機終端受理指定上述虛擬合成圖像中之將縱向範圍設為相同之複數個矩形區域之資料的發送要求，針對上述虛擬合成圖像之每像素行切出指定之區域並連接，並作為新串流而發送至上述主機終端。
[12] 一種電腦程式，其特徵在於：使自攝影對象物所得之動態圖像之各圖框圖像生成複數個圖像資料，並作為串流針對每橫一行之像素依次輸出之攝像裝置的電腦實現以下功能：藉由將上述輸出之上述複數個圖像資料針對圖像之每橫一行份之像素行或範圍小於其之像素行循環地連接，並作為串流輸出，而生成將連接一輪時之像素行作為橫一行份之像素行之包含上述複數個圖像的虛擬合成圖像；及自所連接之主機終端受理指定上述虛擬合成圖像中之將縱向範圍設為相同之複數個矩形區域之資料的發送要求，針對上述虛擬合成圖像之每像素行切出指定之區域並連接，並作為新串流而發送至上述主機終端。
[13] 一種記錄媒體，其記錄有電腦程式，其特徵在於：使自攝影對象物所得之動態圖像之各圖框圖像生成複數個圖像資料並作為串流針對每橫一行之像素依次輸出之攝像裝置的電腦實現以下功能：藉由將上述輸出之上述複數個圖像資料針對圖像之每橫一行份之像素行或範圍小於其之像素行循環地連接，並作為串流輸出，而生成將連接一輪時之像素行作為橫一行份之像素行之包含上述複數個圖像的虛擬合成圖像；及自所連接之主機終端受理指定上述虛擬合成圖像中之將縱向範圍設為相同之複數個矩形區域之資料的發送要求，針對上述虛擬合成圖像之每像素行切出指定之區域並連接，並作為新串流而發送至上述主機終端。

类似技术:

公开号 | 公开日 | 专利标题

TWI495346B|2015-08-01|A moving picture photographing apparatus, an information processing apparatus, an information processing apparatus, an image data processing method, a computer program and a recording medium

TWI496471B|2015-08-11|An image processing apparatus, an information processing system, an information processing apparatus, and an image data processing method

TWI462052B|2014-11-21|Information processing system, information processing device, image capturing device and information processing method

TWI479318B|2015-04-01|Information processing apparatus, information processing method and location information

JP6062512B2|2017-01-18|撮像装置、情報処理システム、および画像データ送出方法

KR101295441B1|2013-08-09|기록 매체, 동화상 처리 장치 및 방법, 촬상 장치, 호스트 단말기 및 촬상 시스템

TW201210314A|2012-03-01|Combining data from multiple image sensors

JP6121787B2|2017-04-26|撮像装置、情報処理システム、および画像データ処理方法

JP6129119B2|2017-05-17|画像処理装置、画像処理システム、撮像装置、および画像処理方法

JP6218787B2|2017-10-25|撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法

同族专利:

公开号 | 公开日

JP5701707B2|2015-04-15|

CA2842301C|2016-05-10|

EP2739046B1|2020-06-10|

CN103797790B|2016-08-17|

US20140152773A1|2014-06-05|

WO2013014844A1|2013-01-31|

AU2012288349A1|2014-02-27|

TWI495346B|2015-08-01|

EP2739046A4|2015-04-01|

AU2012288349B2|2015-11-26|

EP2739046A1|2014-06-04|

US9736458B2|2017-08-15|

CN103797790A|2014-05-14|

CA2842301A1|2013-01-31|

JP2013026978A|2013-02-04|

引用文献:

公开号 | 申请日 | 公开日 | 申请人 | 专利标题

JP3684525B2|1998-02-19|2005-08-17|富士通株式会社|多画面合成方法及び多画面合成装置|

KR100812903B1|1998-05-19|2008-03-11|가부시키가이샤 소니 컴퓨터 엔터테인먼트|화상 처리 장치와 방법 및 프로그램 기록 매체|

JP4360930B2|2004-02-17|2009-11-11|三菱電機株式会社|画像表示装置|

JP2006013875A|2004-06-25|2006-01-12|Victor Co Of Japan Ltd|画像表示システム|

US20070102622A1|2005-07-01|2007-05-10|Olsen Richard I|Apparatus for multiple camera devices and method of operating same|

JP2007053491A|2005-08-16|2007-03-01|Canon Inc|データ処理装置及びデータ処理方法|

JP5145179B2|2008-09-16|2013-02-13|株式会社日立ソリューションズ|光学式読取りコードを用いた本人確認システム|

JP5325745B2|2009-11-02|2013-10-23|株式会社ソニー・コンピュータエンタテインメント|動画像処理プログラム、装置および方法、動画像処理装置を搭載した撮像装置|

US8339470B2|2009-11-30|2012-12-25|Indian Institute Of Technology Madras|Method and system for generating a high resolution image|

JP2011135246A|2009-12-24|2011-07-07|Sony Corp|画像処理装置、撮像装置、および画像処理方法、並びにプログラム|

JP5629642B2|2011-05-19|2014-11-26|株式会社ソニー・コンピュータエンタテインメント|動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法|JP6121787B2|2013-04-26|2017-04-26|株式会社ソニー・インタラクティブエンタテインメント|撮像装置、情報処理システム、および画像データ処理方法|

US9672289B1|2013-07-23|2017-06-06|Plentyoffish Media Ulc|Apparatus, method and article to facilitate matching of clients in a networked environment|

US9300869B2|2013-10-24|2016-03-29|Fujitsu Limited|Reduction of spatial resolution for temporal resolution|

US9706114B2|2014-09-12|2017-07-11|Sony Corporation|Image pickup apparatus, information processing apparatus, display apparatus, information processing system, image data sending method, image displaying method, and computer program|

US9686338B1|2014-10-24|2017-06-20|Amazon Technologies, Inc.|Streaming content adjustment based on camera feedback|

US10212319B1|2014-11-04|2019-02-19|Amazon Technologies, Inc.|Camera positioning fixture|

US20160140733A1|2014-11-13|2016-05-19|Futurewei Technologies, Inc.|Method and systems for multi-view high-speed motion capture|

US10460464B1|2014-12-19|2019-10-29|Amazon Technologies, Inc.|Device, method, and medium for packing recommendations based on container volume and contextual information|

KR101686143B1|2014-12-30|2016-12-13|채수한|영상 처리 장치 및 영상 처리 방법|

KR20170013083A|2015-07-27|2017-02-06|엘지전자 주식회사|이동단말기 및 그 제어방법|

US20170094171A1|2015-09-28|2017-03-30|Google Inc.|Integrated Solutions For Smart Imaging|

JP6218787B2|2015-09-29|2017-10-25|株式会社ソニー・インタラクティブエンタテインメント|撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法|

JP6791962B2|2016-07-01|2020-11-25|マクセル株式会社|撮像装置|

JP6743604B2|2016-09-12|2020-08-19|ソニー株式会社|マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法|

CN109190533B|2018-08-22|2021-07-09|Oppo广东移动通信有限公司|图像处理方法和装置、电子设备、计算机可读存储介质|

CN110475065B|2019-08-19|2021-03-16|北京字节跳动网络技术有限公司|图像处理的方法、装置、电子设备及存储介质|

CN111013150B|2019-12-09|2020-12-18|腾讯科技（深圳）有限公司|一种游戏视频剪辑方法、装置、设备及存储介质|

法律状态:

优先权:

申请号 | 申请日 | 专利标题

JP2011162334A|JP5701707B2|2011-07-25|2011-07-25|動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法|

[返回顶部]